Casimir Jagiellon là con thứ tư của quốc vương Władysław II Jagiełłon với hoàng hậu Sophia của Halshany[1]. Khi sanh ra Casimir, cha của ông đã 65 tuổi. Vợ của Wladyslaw II, trẻ hơn chồng đến 48 tuổi, đã bị nghi ngờ phản quốc. Mãi cho đến khi lời tuyên thệ trang trọng rằng bà vô tội thì Sophia đã thoát khỏi những cáo buộc[2]

Casimir Jagiellon chịu phép báp têm vào ngày 21 tháng 12 năm 1427[3]. Vào ngày sinh nhật của Casimir, Đức Giám mục Stanisław Ciołek đã sáng tác một kiệt tác tên Hystorigraphi di mentis để ca ngợi vị tân vương tương lai[4]. Casimir được nuôi dưỡng bởi mẹ và người giám hộ là thủ tướng Wincenty Kot, hiệp sĩ Piotr của Rytro. Dưới sự hướng dẫn và giáo dục của gia đình, Casimir biết nhiều về lịch sử hoàng gia, biết tiếng Ba lan và tiếng Nga. Nhưng ông không được học tiếng Latinh, không được các giáo viên dạy về kỹ năng quản lý triều đình. Ông thích săn bắn, đó là lý do tại sao trong những năm sau ông thường đi đến rừng Lithuania. Thiếu kỹ năng quản lý triều đình, nhưng Casimir chia sẻ một mối quan tâm lớn về ngoại giao và các vấn đề kinh tế của đất nước. Thầy dạy của Casimir, giám mục Zbigniew Oleśnicki tin rằng Casimir là một nhà quản lý đất nước yếu kém.